Ông là con cả trong gia đình có 8 anh chị em, bố mẹ là thương gia.

Giang Tử có bốn người con, 3 người con gái và 1 người con trai, nhưng không ai theo nghệ thuật chuyên nghiệp. Chính ông cho rằng nghề ca sĩ nhiều khó khăn, nay đây mai đó, nên không khuyến khích các con theo nghề hát mà chuyên tâm học văn hóa. Năm 2017, gần 3 năm sau khi ông mất, người con trai duy nhất của ông là Nguyễn Lê Trương Đông đã tham gia cuộc thi Solo cùng Bolero và vào đến vòng chung kết.[7]